The deep learning community has witnessed an exponentially growing interest in self-supervised learning (SSL). However, it still remains unexplored how to build a framework for learning useful representations of raw music waveforms in a self-supervised manner. In this work, we design Music2Vec, a framework exploring different SSL algorithmic components and tricks for music audio recordings. Our model achieves comparable results to the state-of-the-art (SOTA) music SSL model Jukebox, despite being significantly smaller with less than 2% of parameters of the latter. The model will be released on Huggingface(Please refer to: https://huggingface.co/m-a-p/music2vec-v1)

Differentially private deep learning has recently witnessed advances in computational efficiency and privacy-utility trade-off. We explore whether further improvements along the two axes are possible and provide affirmative answers leveraging two instantiations of \emph{group-wise clipping}. To reduce the compute time overhead of private learning, we show that \emph{per-layer clipping}, where the gradient of each neural network layer is clipped separately, allows clipping to be performed in conjunction with backpropagation in differentially private optimization. This results in private learning that is as memory-efficient and almost as fast per training update as non-private learning for many workflows of interest. While per-layer clipping with constant thresholds tends to underperform standard flat clipping, per-layer clipping with adaptive thresholds matches or outperforms flat clipping under given training epoch constraints, hence attaining similar or better task performance within less wall time. To explore the limits of scaling (pretrained) models in differentially private deep learning, we privately fine-tune the 175 billion-parameter GPT-3. We bypass scaling challenges associated with clipping gradients that are distributed across multiple devices with \emph{per-device clipping} that clips the gradient of each model piece separately on its host device. Privately fine-tuning GPT-3 with per-device clipping achieves a task performance at $\epsilon=1$ better than what is attainable by non-privately fine-tuning the largest GPT-2 on a summarization task.

The success of deep neural networks requires both high annotation quality and massive data. However, the size and the quality of a dataset are usually a trade-off in practice, as data collection and cleaning are expensive and time-consuming. Therefore, automatic noisy label detection (NLD) techniques are critical to real-world applications, especially those using crowdsourcing datasets. As this is an under-explored topic in automatic speaker verification (ASV), we present a simple but effective solution to the task. First, we compare the effectiveness of various commonly used metric learning loss functions under different noise settings. Then, we propose two ranking-based NLD methods, inter-class inconsistency and intra-class inconsistency ranking. They leverage the inconsistent nature of noisy labels and show high detection precision even under a high level of noise. Our solution gives rise to both efficient and effective cleaning of large-scale speaker recognition datasets.

分布（OOD）检测是安全部署模型在开放世界中的关键。对于OOD检测，收集足够的标记数据（ID）通常比未标记的数据更耗时且昂贵。当ID标记的数据受到限制时，由于其对ID标记的数据的量的高度依赖性，因此先前的OOD检测方法不再优越。基于有限的ID标记数据和足够的未标记数据，我们定义了一种称为弱监督的新设置（WSOOD）。为了解决新问题，我们提出了一种称为拓扑结构学习（TSL）的有效方法。首先，TSL使用一种对比度学习方法来构建ID和OOD数据的初始拓扑结构空间。其次，在初始拓扑空间中，TSL矿山有效的拓扑连接。最后，基于有限的ID标记数据和开采拓扑连接，TSL在新的拓扑空间中重建拓扑结构，以提高ID和OOD实例的可分离性。对几个代表性数据集的广泛研究表明，TSL明显胜过最先进的研究，从而在新的WSood环境中验证了我们方法的有效性和鲁棒性。

手指静脉识别是一种新兴的生物识别识别技术。与人体表面上的其他生物特征不同，手指的静脉血管组织被埋在皮肤深处。由于这种优势，手指静脉识别是高度稳定和私人的。它们几乎不可能被外部条件偷走且难以干预。与基于传统机器学习的手指静脉识别方法不同，人工神经网络技术，尤其是深度学习，它不依赖功能工程并具有出色的性能。为了总结基于人工神经网络的手指静脉识别的发展，本文收集了149篇相关论文。首先，我们介绍了手指静脉识别的背景和这项调查的动机。然后，引入了人工神经网络的发展历史和手指静脉识别任务上的代表网络。然后描述在手指静脉识别中广泛使用的公共数据集。之后，我们分别基于经典神经网络和深层神经网络总结了相关的手指静脉识别任务。最后，讨论了手指静脉识别的挑战和潜在发展方向。据我们所知，本文是第一次综合调查，重点是基于人工神经网络的指静脉识别。

阴影对于逼真的图像合成至关重要。基于物理的阴影渲染方法需要3D几何形状，这并不总是可用。基于深度学习的阴影综合方法从光信息到对象的阴影中学习映射，而无需明确建模阴影几何形状。尽管如此，它们仍然缺乏控制，并且容易出现视觉伪像。我们介绍了Pixel Heigh，这是一种新颖的几何表示，它编码对象，地面和相机姿势之间的相关性。像素高度可以根据3D几何形状计算，并在2D图像上手动注释，也可以通过有监督的方法从单视RGB图像中预测。它可用于根据投影几何形状计算2D图像中的硬阴影，从而精确控制阴影的方向和形状。此外，我们提出了一个数据驱动的软影子生成器，以基于软性输入参数将软性应用于硬阴影。定性和定量评估表明，所提出的像素高度显着提高了阴影产生的质量，同时允许可控性。

目前，在有监督的学习下，由大规模自然界数据集预测的模型，然后在一些特定的任务标签数据上进行微调，这是主导知识转移学习的范式。它已达到遥感域（RSD）中任务感知模型培训的共识解决方案的状态。不幸的是，由于不同类别的成像数据和数据注释的严峻挑战，因此没有足够大且均匀的遥感数据集来支持RSD中的大规模预处理。此外，通过监督学习，然后直接对不同的下游任务进行微调，在大规模自然场景数据集上进行了预处理的模型似乎是一种粗略的方法，这很容易受到不可避免的标记噪声，严重的域间隙和任务意识到的差异的影响。因此，在本文中，考虑了一个简洁有效的知识转移学习策略，称为连续预审计（CSPT），考虑了不停止在自然语言处理中预处理的想法（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT），那么在本文中。 NLP），可以逐渐弥合域间隙并将知识从自然场景域转移到RSD。拟议的CSPT还可以发布未标记数据的巨大潜力，以进行任务感知模型培训。最后，在RSD的十二个数据集上进行了广泛的实验，涉及三种类型的下游任务（例如，场景分类，对象检测和土地覆盖分类）和两种类型的成像数据（例如，光学和SAR）。结果表明，通过利用拟议的CSPT进行任务感知模型培训，RSD中的几乎所有下游任务都可以胜过先前的监督预处理的方法，然后再进行预先调整，甚至超过了最先进的方法（SOTA）（SOTA）（SOTA）性能没有任何昂贵的标签消费和仔细的模型设计。

我们训练一个神经网络模型，以预测宇宙N体模拟的全相空间演化。它的成功表明，神经网络模型正在准确地近似绿色的功能扩展，该功能将模拟的初始条件与其在深层非线性方向上的后期结合到结果。我们通过评估其在具有已知精确解决方案或充分理解扩展的简单情况下的良好理解的简单案例上的表现来测试这种近似值的准确性。这些场景包括球形构型，隔离平面波和两个相互作用的平面波：与用于训练的高斯随机场有很大不同的初始条件。我们发现我们的模型可以很好地推广到这些良好理解的方案，这表明网络已经推断了一般的物理原理，并从复杂的随机高斯训练数据中学习了非线性模式耦合。这些测试还为查找模型的优势和劣势以及确定改进模型的策略提供了有用的诊断。我们还测试了仅包含横向模式的初始条件，该模式的模式不仅在其相位上有所不同，而且还与训练集中使用的纵向生长模式相比。当网络遇到与训练集正交的这些初始条件时，该模型将完全失败。除了这些简单的配置外，我们还评估了模型对N体模拟的标准初始条件的密度，位移和动量功率谱的预测。我们将这些摘要统计数据与N体结果和称为COLA的近似快速模拟方法进行了比较。我们的模型在$ k \ sim 1 \ \ mathrm {mpc}^{ - 1} \，h $的非线性尺度上达到百分比精度，代表了对COLA的显着改进。

尽管有启发式方法，贪婪的算法以及对数据统计变化的变化，但3D实例分割中的当前最新方法通常涉及聚类步骤。相比之下，我们提出了一种以每点预测方式起作用的全面3D点云实例分割方法。为此，它可以避免基于聚类的方法面临的挑战：在模型的不同任务之间引入依赖性。我们发现其成功的关键是为每个采样点分配一个合适的目标。我们建议使用最佳的传输方法来根据动态匹配成本最佳地将目标掩码分配给采样点。我们的方法在扫描仪和S3DIS基准测试方面取得了令人鼓舞的结果。所提出的方法消除了插入依赖性，因此比其他竞争方法代表了更简单，更灵活的3D实例分割框架，同时实现了提高的分割精度。

我们提出了基于复发均衡网络的非线性动态控制器的参数化，这是复发性神经网络的概括。我们对控制器保证具有部分观察到的动态系统的指数稳定性的参数化受到限制。最后，我们提出了一种使用投影策略梯度方法合成该控制器的方法，以最大程度地利用任意结构来奖励功能。投影步骤涉及凸优化问题的解决方案。我们通过模拟控制非线性植物（包括用神经网络建模的植物）演示了提出的方法。